package com.yanggu.spark.core.rdd.transform.value

import org.apache.spark.{SparkConf, SparkContext}

//flatMap算子
object RDD05_FlatMap {

  def main(args: Array[String]): Unit = {
    //将处理的数据进行扁平化后再进行映射处理，所以算子也称之为扁平映射
    //和scala的flapMap算子类似。输入一行数据, 返回List、Iter、Array等

    //1. 创建SparkConf
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("mapOperator")

    //2. 创建SparkContext
    val sparkContext = new SparkContext(sparkConf)

    val dataRdd = sparkContext.makeRDD(List(List(1, 2), List(4, 5)))

    val dataRdd2 = dataRdd.flatMap(list => list)

    dataRdd2.collect().foreach(println)

    //释放资源
    sparkContext.stop()
  }

}
